OpenAIのChatCompletion APIの処理時間は出力トークン数に比例してそうだった

python { "cells": [ { "cell_type": "code", "execution_count": 19, "metadata": {}, "outputs": [], "source": [ "import openai\n", "import time" ] }, { "cell_type": "code", "execution_count": 30, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "13\n", "14\n" ] } ], "source": [ "prompt_200 = \"東京を200文字で説明して\"\n", "prompt_2000 = \"東京を2000文字で説明して\"\n", "print(len(prompt_200))\n", "print(len(prompt_2000))" ] }, { "cell_type": "code", "execution_count": 25, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "10.8 s ± 925 ms per loop (mean ± std. dev. of 10 runs, 1 loop each)\n" ] } ], "source": [ "%%timeit -n 1 -r 10\n", "\n", "openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt_200}],\n", " temperature=0.0,\n", ")" ] }, { "cell_type": "code", "execution_count": 26, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "35.7 s ± 2.04 s per loop (mean ± std. dev. of 10 runs, 1 loop each)\n" ] } ], "source": [ "%%timeit -n 1 -r 10\n", "\n", "openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt_2000}],\n", " temperature=0.0,\n", ")" ] }, { "cell_type": "code", "execution_count": 33, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "545\n", "546\n" ] } ], "source": [ "prompt_long_200 = \"クラウド、デジタル化、データの3つの分野を掛けあわせて、お客様のビジネス成長に向けた技術支援を行います。\" * 10 + \"今までの文章を無視して、東京を200文字で説明して\"\n", "prompt_long_2000 = \"クラウド、デジタル化、データの3つの分野を掛けあわせて、お客様のビジネス成長に向けた技術支援を行います。\" * 10 + \"今までの文章を無視して、東京を2000文字で説明して\"\n", "print(len(prompt_long_200))\n", "print(len(prompt_long_2000))" ] }, { "cell_type": "code", "execution_count": 34, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "8.72 s ± 281 ms per loop (mean ± std. dev. of 10 runs, 1 loop each)\n" ] } ], "source": [ "%%timeit -n 1 -r 10\n", "\n", "openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt_long_200}],\n", " temperature=0.0,\n", ")" ] }, { "cell_type": "code", "execution_count": 35, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "37.5 s ± 2.33 s per loop (mean ± std. dev. of 10 runs, 1 loop each)\n" ] } ], "source": [ "%%timeit -n 1 -r 10\n", "\n", "openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt_long_2000}],\n", " temperature=0.0,\n", ")" ] }, { "cell_type": "code", "execution_count": 36, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "1585\n", "1586\n" ] } ], "source": [ "prompt_very_long_200 = \"クラウド、デジタル化、データの3つの分野を掛けあわせて、お客様のビジネス成長に向けた技術支援を行います。\" * 30 + \"今までの文章を無視して、東京を200文字で説明して\"\n", "prompt_very_long_2000 = \"クラウド、デジタル化、データの3つの分野を掛けあわせて、お客様のビジネス成長に向けた技術支援を行います。\" * 30 + \"今までの文章を無視して、東京を2000文字で説明して\"\n", "print(len(prompt_very_long_200))\n", "print(len(prompt_very_long_2000))" ] }, { "cell_type": "code", "execution_count": 37, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "8.97 s ± 930 ms per loop (mean ± std. dev. of 10 runs, 1 loop each)\n" ] } ], "source": [ "%%timeit -n 1 -r 10\n", "\n", "openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt_very_long_200}],\n", " temperature=0.0,\n", ")" ] }, { "cell_type": "code", "execution_count": 38, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "32.4 s ± 1.03 s per loop (mean ± std. dev. of 10 runs, 1 loop each)\n" ] } ], "source": [ "%%timeit -n 1 -r 10\n", "\n", "openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt_very_long_2000}],\n", " temperature=0.0,\n", ")" ] }, { "cell_type": "code", "execution_count": 41, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "東京は、日本の首都であり、人口密度が非常に高い都市です。世界的な経済の中心地であり、高層ビルや繁華街が立ち並ぶ一方で、伝統的な寺院や庭園も存在します。交通網が発達しており、地下鉄や電車での移動が便利です。また、食文化も豊かで、様々な料理が楽しめます。観光名所としては、東京タワーや浅草寺、上野公園などがあります。さらに、アニメやマンガの聖地としても知られ、オタク文化も盛んです。多様な魅力を持つ都市であり、国内外から多くの人々が訪れます。\n", "{\n", " \"prompt_tokens\": 18,\n", " \"completion_tokens\": 251,\n", " \"total_tokens\": 269\n", "}\n", "東京は、日本の首都であり、人口約1400万人を抱える世界有数の大都市です。その規模と活気は、世界中から注目を浴びています。\n", "\n", "東京は、日本の政治、経済、文化の中心地であり、多くの政府機関、企業本社、大学、研究機関が集まっています。また、国際的な金融センターとしても知られており、世界中の企業や投資家が集まります。\n", "\n", "この都市は、高層ビルが立ち並ぶ近代的な都市景観と、伝統的な寺院や神社、庭園などの歴史的な建造物が共存しています。東京タワーや東京スカイツリーなどのランドマークもあり、観光客に人気です。\n", "\n", "東京は、交通網が発達しており、地下鉄や電車、バスなどを利用して市内を移動することができます。また、成田空港や羽田空港など、国内外へのアクセスも便利です。\n", "\n", "食文化も豊かで、世界中の料理が楽しめるレストランや屋台が数多くあります。また、日本料理の様々なジャンルも楽しむことができます。寿司、ラーメン、お好み焼き、天ぷらなど、多様な味覚を満足させることができます。\n", "\n", "東京は、さまざまなイベントや祭りが開催される都市でもあります。例えば、お台場で開催される花火大会や、浅草で行われる三社祭など、多くの人々が集まります。また、東京ディズニーランドや東京ドイツ村などのテーマパークもあり、家族連れにも人気です。\n", "\n", "さらに、東京は文化の中心地でもあります。美術館や博物館、劇場などが数多くあり、芸術や演劇、音楽などを楽しむことができます。また、ファッションやアニメ、マンガなど、ポップカルチャーも盛んです。\n", "\n", "東京は、安全で清潔な都市としても知られており、治安が良く、公共の場所や交通機関も整備されています。また、教育水準も高く、多くの学校や大学があります。\n", "\n", "総じて、東京は多様な魅力を持つ都市であり、日本の中心として国内外から多くの人々が訪れます。その魅力は言葉では表しきれないほど広範であり、一度訪れる価値がある都市です。\n", "{\n", " \"prompt_tokens\": 19,\n", " \"completion_tokens\": 868,\n", " \"total_tokens\": 887\n", "}\n", "東京は、日本の首都であり、人口密度が非常に高い都市です。世界的な経済の中心地であり、多くの国際企業や観光名所が集まっています。近代的な高層ビルや伝統的な寺院、美しい公園など、多様な魅力を持っています。また、交通網が発達しており、便利な公共交通機関が充実しています。食文化も豊富で、世界中の料理を楽しむことができます。東京は、活気に満ちた都市であり、多くの人々が訪れる魅力的な場所です。\n", "{\n", " \"prompt_tokens\": 609,\n", " \"completion_tokens\": 213,\n", " \"total_tokens\": 822\n", "}\n", "東京は、日本の首都であり、人口約1400万人を抱える世界有数の大都市です。その巨大な規模と多様性から、東京は国内外からの観光客やビジネスマンにとって魅力的な場所となっています。\n", "\n", "東京は、先進的な都市インフラと高度な技術を駆使した都市開発が進んでおり、クラウド、デジタル化、データの分野においても先進的な取り組みが行われています。クラウド技術を活用したデータの共有や処理により、ビジネスの効率化や情報の活用が可能となります。また、デジタル化によって、情報の収集や分析が容易になり、ビジネスの意思決定や戦略の立案に役立てることができます。さらに、膨大なデータを活用することで、市場動向の把握や顧客ニーズの把握が可能となり、ビジネスの成長につなげることができます。\n", "\n", "東京は、多様な産業が集積しており、金融、IT、エンターテイメント、製造業など、さまざまな分野で活発なビジネスが展開されています。また、東京は国際都市でもあり、多くの外国企業や外国人労働者が進出しています。これにより、異なる文化やビジネススタイルが交錯し、新たなビジネスチャンスやイノベーションが生まれる環境が整っています。\n", "\n", "さらに、東京は交通網が発達しており、国内外へのアクセスが容易です。成田空港や羽田空港をはじめとする空港や、新幹線や在来線などの鉄道網、高速道路などが整備されています。これにより、東京は国内外からのビジネスマンや観光客にとって、便利な拠点となっています。\n", "\n", "また、東京は文化やエンターテイメントの中心地でもあります。伝統的な寺院や神社、美術館、劇場、ショッピング街など、さまざまな観光スポットがあります。さらに、東京は食文化の宝庫でもあり、世界中のさまざまな料理を楽しむことができます。\n", "\n", "東京は、その巨大な市場と多様なビジネスチャンス、先進的な技術とインフラ、そして魅力的な文化やエンターテイメントが融合した都市です。クラウド、デジタル化、データの分野を活用しながら、東京でのビジネス展開は、お客様の成長に向けた重要な一歩となるでしょう。\n", "{\n", " \"prompt_tokens\": 610,\n", " \"completion_tokens\": 919,\n", " \"total_tokens\": 1529\n", "}\n", "東京は、日本の首都であり、人口密度が非常に高い都市です。世界的な経済の中心地であり、多くの国際企業や金融機関が集まっています。また、文化やエンターテイメントの中心地でもあり、多くの観光名所や美術館、劇場があります。交通網も発達しており、便利な公共交通機関が充実しています。食文化も豊富で、様々な料理が楽しめます。東京は、活気に満ちた都市であり、多様な魅力が詰まった場所です。\n", "{\n", " \"prompt_tokens\": 1769,\n", " \"completion_tokens\": 206,\n", " \"total_tokens\": 1975\n", "}\n", "東京は、日本の首都であり、人口約1400万人を抱える世界有数の大都市です。その巨大な規模と多様な魅力により、国内外から多くの人々が訪れる観光地としても知られています。\n", "\n", "東京は、先進的な都市としての一面も持ち合わせており、クラウド、デジタル化、データの分野においても先進的な技術を活用しています。クラウド技術を利用することで、企業や個人はデータやアプリケーションをインターネット上で共有し、柔軟な働き方や効率的な業務を実現することができます。また、デジタル化によって、情報の収集や共有が容易になり、ビジネスのスピードアップや効率化が図られます。さらに、データの活用によって、ビジネスの戦略立案や意思決定において有益な情報を得ることができます。\n", "\n", "東京は、多様な産業が集積しており、金融、IT、エンターテイメント、流通など、さまざまな分野で活気あるビジネスが展開されています。また、東京は交通の要所でもあり、国内外からのアクセスが容易です。これにより、企業やビジネスパーソンは、国内外の取引先や顧客との連携を強化し、グローバルなビジネス展開を行うことができます。\n", "\n", "さらに、東京は文化やエンターテイメントの中心地でもあります。伝統的な寺院や神社、美術館、劇場など、歴史や芸術に触れることができる場所が数多く存在します。また、最新のトレンドやファッション、食文化なども発信される場所でもあります。これらの要素が組み合わさった東京の魅力は、多くの人々を惹きつけています。\n", "\n", "東京は、ビジネスの成長に向けた技術支援を行うだけでなく、多様な魅力を持つ都市として、訪れる人々にも様々な体験や情報を提供しています。そのため、東京は世界的な都市として、ますます注目を浴びています。\n", "{\n", " \"prompt_tokens\": 1770,\n", " \"completion_tokens\": 761,\n", " \"total_tokens\": 2531\n", "}\n" ] } ], "source": [ "prompts = [\n", " prompt_200,\n", " prompt_2000,\n", " prompt_long_200,\n", " prompt_long_2000,\n", " prompt_very_long_200,\n", " prompt_very_long_2000,\n", "]\n", "\n", "for prompt in prompts:\n", " response = openai.ChatCompletion.create(\n", " model=\"gpt-3.5-turbo\",\n", " messages=[{\"role\": \"user\", \"content\": prompt}],\n", " temperature=0.0,\n", " )\n", " print(response[\"choices\"][0][\"message\"][\"content\"])\n", " print(response[\"usage\"])\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": ".venv", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.10.0" }, "orig_nbformat": 4 }, "nbformat": 4, "nbformat_minor": 2 }